Mẹ của Vệ Thanh là Vệ Ẩu, nguyên là vợ lẽ của Bình Dương hầu Tào Thọ, chú dượng của Hán Vũ Đế. Mẹ bà vốn đa tình, trước khi làm vợ Tào Thọ đã đi ngoại tình với người khác, sinh được 1 trai 3 gái. Đến khi về với Bình Dương hầu, bà lại tư thông với gia nô trong phủ là Cấp sự Trịnh Quý và sinh ra Vệ Thanh. Lúc vừa chào đời, Vệ Thanh đã bị đuổi ra khỏi phủ Bình Dương hầu, về sống với cha là Trịnh Quý và bị bắt đi chăn cừu. Tuy nhiên chỉ vài năm sau, vợ cả của Trịnh Quý hạ sinh con và ghét bỏ Vệ Thanh, do đó ông trở về Bình Dương hầu phủ với mẹ và từ đó theo họ Vệ của mẹ, nhưng do không phải con Bình Dương hầu nên phải làm gia nô.

Sau khi đến tuổi trưởng thành, Vệ Thanh làm mã phu, đi theo hầu Bình Dương công chúa, vốn là vợ cả của Tào Thọ. Khi Bình Dương Công chúa ra ngoài đều có Vệ Thanh cưỡi ngựa đi theo bảo vệ[2][3].